# Random Forest

## 개요

**Random Forest**(랜덤 포레스트)는 머러닝 분야에서 널리되는 앙상블 학습(Ensemble Learning) 기법 중 하나로, 여러 개의 결정트리(Decision Tree)를 결합하여 보다 정확하고 안정적인 예측 성능을 제공하는 알고리즘입니다. 이 방법은 과적합(Overfitting)에 강하고, 다양한 유형의 데이터에 잘 작동하며, 별도의 특성 선택이나 정규화 없이도 높은 성능을 낼 수 있어 분류(Classification)와 회귀(Regression) 문제 모두에 적용됩니다.

Random Forest는 Leo Breiman과 Adele Cutler에 의해 2001년에 제안된 기법으로, 현재는 사이킷런(Scikit-learn), R, XGBoost 등 다양한 머신러닝 라이브러리에서 기본 제공되는 핵심 알고리즘 중 하나입니다.

---

## 작동 원리

### 1. 앙상블 학습의 개념

Random Forest는 **배깅**(Bagging, Bootstrap Aggregating) 기법을 기반으로 합니다. 배깅은 전체 데이터셋에서 중복을 허용해 여러 개의 부트스트랩 샘플(Bootstrap sample)을 추출하고, 각 샘플에 대해 개별 모델(여기서는 결정트리)을 학습시킨 후, 최종 예측 시 모든 모델의 결과를 결합하는 방식입니다.

- **분류 문제**: 다수결 투표(Majority Voting)로 최종 클래스 결정
- **회귀 문제**: 각 트리의 예측값 평균을 최종 예측값으로 사용

### 2. 랜덤성의 도입

Random Forest는 단순한 배깅과 달리 두 가지 레벨에서 **랜덤성**(Randomness)을 도입함으로써 모델의 일반화 능력을 향상시킵니다.

1. **데이터의 랜덤 샘플링**: 각 트리는 전체 데이터에서 무작위로 추출된 부트스트랩 샘플을 사용해 학습됩니다.
2. **특성(Feature)의 랜덤 선택**: 각 노드를 분할할 때 전체 특성 중 일부만 무작위로 선택하여 최적의 분할 기준을 찾습니다.  
   예를 들어, 전체 특성이 10개라면 각 분할 시 3~4개만 무작위로 고려합니다.

이러한 랜덤성은 개별 트리 간의 상관관계를 줄이고, 전체 모델의 **다양성**(Diversity)을 높여 예측 성능을 향상시킵니다.

---

## 알고리즘 절차

Random Forest의 학습 과정은 다음과 같습니다:

1. **부트스트랩 샘플 생성**: 원본 데이터셋에서 중복을 허용해 N개의 샘플을 무작위로 추출 (크기는 원본과 동일).
2. **랜덤 특성 선택**: 각 노드에서 분할 시 전체 특성 중 무작위로 일부 특성만 고려.
3. **결정트리 생성**: 선택된 데이터와 특성으로 각 트리를 완전히 성장시킴 (가지치기 없이).
4. **앙상블 구성**: M개의 결정트리를 생성하여 하나의 Random Forest 모델을 구성.
5. **예측 수행**:
   - 분류: 각 트리의 예측 결과를 투표하여 가장 많은 표를 얻은 클래스 선택.
   - 회귀: 각 트리의 예측값을 평균.

---

## 장점과 단점

### ✅ 장점

| 항목 | 설명 |
|------|------|
| 과적합에 강함 | 여러 트리의 평균을 취하므로 단일 결정트리보다 과적합이 적음 |
| 높은 정확도 | 다양한 데이터셋에서 안정적인 성능을 보임 |
| 결측치 및 이상치에 강함 | 내부적으로 데이터의 분포를 고려하여 학습됨 |
| 변수 중요도 제공 | 각 특성의 기여도를 측정 가능 (예: Gini 중요도) |
| 병렬 처리 가능 | 각 트리는 독립적으로 학습 가능하여 계산 효율적 |

### ❌ 단점

| 항목 | 설명 |
|------|------|
| 해석의 어려움 | 개별 트리는 해석 가능하지만, 전체 모델은 블랙박스 성향 |
| 계산 비용 | 트리 수가 많을수록 메모리와 계산 시간 증가 |
| 실시간 예측 지연 | 많은 트리를 사용하면 예측 속도가 느려질 수 있음 |

---

## 주요 하이퍼파라미터

Random Forest의 성능은 다음과 같은 하이퍼파라미터에 크게 영향을 받습니다.

| 파라미터 | 설명 |
|---------|------|
| `n_estimators` | 사용할 결정트리의 개수. 값이 클수록 성능 향상, 그러나 계산 비용 증가 |
| `max_depth` | 트리의 최대 깊이. 깊이가 깊을수록 과적합 가능성 증가 |
| `min_samples_split` | 노드를 분할하기 위한 최소 샘플 수 |
| `min_samples_leaf` | 리프 노드에 있어야 할 최소 샘플 수 |
| `max_features` | 각 분할 시 고려할 특성의 수 (예: 'sqrt', 'log2', 정수 값) |
| `bootstrap` | 부트스트랩 샘플 사용 여부 (기본값: True) |

---

## 활용 사례

Random Forest는 다음과 같은 다양한 분야에서 활용됩니다:

- **의료 진단**: 환자의 증상 데이터를 기반으로 질병 예측
- **금융**: 신용 점수 평가, 사기 탐지
- **생물정보학**: 유전자 데이터 기반 질병 분류
- **추천 시스템**: 사용자 행동 예측
- **이미지 분류**: 간단한 이미지 특성 기반 분류

---

## 참고 자료 및 관련 문서

- Breiman, L. (2001). ["Random Forests"](https://www.stat.berkeley.edu/~breiman/randomforest2001.pdf). *Machine Learning*.
- Scikit-learn 공식 문서: [sklearn.ensemble.RandomForestClassifier](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html)
- 관련 알고리즘:  
  - [Gradient Boosting](https://ko.wikipedia.org/wiki/그래디언트_부스팅)  
  - [XGBoost](https://xgboost.readthedocs.io/)  
  - [Decision Tree](https://ko.wikipedia.org/wiki/결정트리)

---

Random Forest는 머신러닝 입문자부터 전문가까지 폭넓게 사용하는 강력한 도구이며, 복잡한 데이터를 다루는 데 있어 뛰어난 성능과 안정성을 제공합니다. 특히, 사전 데이터 전처리가 제한적인 상황에서도 견고한 결과를 내는 점에서 실무에서 매우 유용합니다.